package com.blackman.skcrawler.core.crawler.api;



import com.blackman.skcrawler.core.crawler.po.WormPendPage;

import java.util.List;

/**
 * 默认爬虫的接口
 *
 * @author blackman
 * @date 2018/09/26 16:22
 *
 */
public interface IDefaultCrawler {

    /**
     * 初始化
     */
    void init();

    /**
     * 抓取执行
     */
    void execute();

    /**
     * 获取待抓取url列表
     */
    List<WormPendPage> getPendListUrlPage();

    /**
     * 新增待抓取列表
     */
    void addGrabList(List<String> newGrabList, int maxNum);

    /**
     * 新增已抓取列表
     */
    void addGrabedPageUrl(String url);

    /**
     * 新增起始页
     */
    void addHomePage(String homePageurl);

    /**
     * 新增正则匹配url
     */
    void addRegular(String regular);

    /**
     * 新增匹配种子规则
     */
    void addSeed(String seed);
}
